中小商行数据仓库睁开“第三只眼”

在日趋激烈的竞争环境中，中小商业银行要在“夹缝”中生存发展，需要拥有“三只眼”的本领，即除了要盯紧政府、审时度势外，也要盯住内部、了解自身、练好内功；同时也需要盯紧外部的客户，了解客户，更好地服务客户。要具有这样的“三只眼”的洞察力，就需要有汇集银行方方面面信息的数据平台，这样才能运筹帷幄、智赢先机。数据仓库无疑是最好的选择。

        数据仓库的概念始于上世纪80年代中期，该技术产生之后很快被众多企业所采用，最为著名的是创造“啤酒搭着尿布卖”经典的世界著名商业零售连锁企业沃尔玛（WalMart）。根据美国META集团的调查，数据仓库技术在美国金融业、制造业、商贸业，以及社会服务业等方面都得到了广泛应用，它已成为企业快速发展、科学管理的平台。

        以下，笔者以一家中小商业银行数据仓库建设亲历者的视角，谈谈对数据仓库的认识，数据仓库建设的过程以及使用与管理。

对数据仓库的认识
        被誉为“数据仓库之父”的W.H Inmon ，在《数据仓库》一书中对数据仓库给出的描述是：面向主题的、集成的、稳定的、随时间不断变化的数据集合，用以支持管理决策的制定过程。
对于该概念，我们的理解是：

        面向主题的。数据仓库的数据是按照数据类别相应的进行归类存放。比如：产品、协议。当事人，事件、账务、风险等主题。

        集成的。数据仓库的数据来自于众多的业务系统，这些数据进入仓库后需要集成在一起，比如：核心系统的客户信息与信贷、中间业务、贷记卡等系统的客户信息需要集成在一起，我们才能形成对客户的统一视图。

        稳定的。进入数据仓库的数据忠实地记录了时点的状态，很少被修改。

        随时间变化的。数据仓库会不断从业务系统抽取数据，并保留所有历史数据。

        数据集合。一层含义是，数据仓库的数据是数据的汇集，需要有数据库产品作为平台支撑（比如：Teradata、IBM DB2、Oracle等）；另一层含义是，数据仓库的数据必须有相应的数据模型予以支撑。

        用以支持经营管理中的决策制定过程。建设数据仓库不是最终目的，最终目的是通过数据仓库更好地支持企业的经营管理决策。

        Inmon自然仅从概念上给出了数据仓库的基本要素，实际在建设数据仓库时，涉及的要素要多得多。

        关于数据仓库的架构，以下几点非常重要：

        1. 数据模型的扩展性。数据模型是数据仓库的核心，数据仓库的建设不是一蹴而就的，随着业务数据的逐渐增加和分析应用的逐步深化，原来的模型需要不断扩展。因此，在数据仓库建设开始就要考虑数据模型的可扩展性，以满足银行未来发展的需要。

        2. ETL架构的科学性。数据仓库的数据来自于业务系统，由于中小商业银行的条件有限，往往不可能对业务系统都搞一套时点镜像存储，如果数据抽取不能在业务系统闲暇的时间窗口完成，拖到上班开门时，势必会对业务系统的数据处理带来影响。因此，需要科学规划ETL架构，尽量减少对业务操作的影响。

        3. 数据仓库平台的处理能力。业界对基于数据仓库的应用时间要求一般是“T+1”，这样，系统的处理时间窗口也有限制，这就要求数据仓库平台必须具有快速的数据处理能力；对于应用访问用户而言，不能快速地得到响应将会使他们很快失去兴趣。因此，数据仓库平台也必须具有快速的数据响应能力。

        4. 数据仓库平台维护的便利性。中小商业银行的科技人员往往较少，整体技术能力有限，数据仓库平台维护工作越少越好，如果动不动就出现死锁、表空间不足、Pagesize不够等问题，就会使整个日常工作带来不必要的麻烦。因此，需要选择好平台产品，需要维护的工作越少越好。

数据仓库的建设过程总结
        数据仓库的建设过程是一项巨大的工程，投入大、风险高、周期长、技术复杂。数据仓库的建设过程与其它信息化工程类似，也需要经历调研阶段、分析设计阶段、开发测试阶段、方案集成阶段。

        在数据仓库建设的时候，我们一般把一些特定的任务由相应的小组来完成。一般分为商业智能小组、模型设计小组、TEL开发小组、方案集成小组、数据质量小组等。这些小组仅仅是逻辑的划分，有些成员可能在完成一个阶段性任务后加入另一个小组。图2描述了数据仓库建设过程的各个阶段的各个小组的主要活动，各个小组之间的活动有的可以并行，有的则要依赖另外小组的输出。

        商业智能小组。主要工作是对业务部门进行需求访谈，对需求进行整理、分析、归类，形成应用需求规格说明书。由于商业智能的数据来自于数据仓库PDM数据，因而只有在数据仓库模型设计完成才可以进行应用的转换设计、开发转换脚本、验证数据；然后再根据业务部门的应用展现方式进行报表开发、OLAP开发、专题分析开发、数据挖掘开发等工作；最后由方案集成小组进行集成，比如：统一部署、发布到企业Portal。

        模型设计小组。有经验的数据仓库厂商往往已经有成熟的数据仓库模型，只需要根据银行的具体情况，对模型进行裁减、客户化就可以了。模型小组首先要了解企业现有的业务系统，根据行业经验分析哪些数据需要进入到数据仓库中，哪些不需要，比如，客户资料数据一般要进入到数据仓库，而那些在系统中产生的中间临时数据往往不需要进入到数据仓库。经过对表筛选后，ETL小组就可以根据表的取舍说明进行与业务系统的接口设计。

        模型设计小组会根据表的取舍情况来进一步核对业务报表，逐表逐字段进行分析，并对这些字段会如何“放入”到数据仓库模型中给出简要映射描述。在分析的过程中对行业模型给出裁减、客户化，即进行逻辑模型设计。逻辑模型设计好后要进行模型的物理化设计，形成数据仓库的物理模型。最后，根据物理模型就可以在数据仓库平台中创建物理表。

 1 2 下一页 尾页

扫码即可手机
阅读转发此文